# -*- coding: UTF-8 -*-
"""
@File    ：2.数据输入.py
@Author  ：techPang
@Date    ：2025/2/8 14:13 
@Version ：1.0

支持两种数据的输入:1.python中的容器，sc.parallelize(容器)，2.文件，sc.textFile(文件路径)
"""
from pyspark import SparkConf, SparkContext

# 创建sparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

# 基于配置类创建SparkContext对象
sc = SparkContext(conf=conf)

# 从py中的容器读取数据到sc中，这里以列表为例  sc.parallelize(容器)
rdd_co = sc.parallelize([1, 2, 3, 4, 5])
print(rdd_co.collect())
# print(type(rdd_co.collect())) list类型

# 从文件中读取数据到sc中  sc.textFile(文件路径)
rdd_file = sc.textFile("./test.txt")
print(rdd_file.collect())
# print(type(rdd_file.collect())) list类型

# 停止运行
sc.stop()

